Thành nhà Mạc được xây dựng ở vị trí án ngữ giao thông đường thủy và đường bộ bên bờ sông Lô - Khu vực phát triển về thương nghiệp và các triều đại phong kiến.[1] Từ thời nhà Lý đã đóng quân tại đây với tên gọi đồn Tam Kỳ (hay Tam Cờ).

Tương truyền, năm 1592, thời chiến tranh Lê-Mạc, quân Nam triều (nhà Lê trung hưng) do Trịnh Tùng chỉ huy tiến ra bắc đánh chiếm Thăng Long. Vua nhà Mạc là Mạc Mậu Hợp bị bắt và bị xử tử. Các quý tộc và quan lại rút về Cao Bằng. Để ngăn chặn quân nhà Lê, triều đình nhà Mạc đã cho xây dựng một tòa thành ở bên bờ sông Lô. Theo tương truyền, toàn bộ quá trình xây thành chỉ mất một đêm.[1] Quân Mạc còn đắp trong thành một ngọn núi đất hơn 50m gọi là Thổ Sơn (núi Đất). Tòa thành còn là nơi giành giật giữa quân đội nhà Lê và nhà Mạc trong nhiều năm mỗi khi các vua Mạc mở cuộc tiến công từ Cao Bằng xuống Thăng Long.[2]

Tuy nhiên, theo nhà báo Phí Văn Chiến, nhà Mạc thực tế chưa từng chiếm được vùng Tuyên Quang, khi nơi đây thuộc quyền kiểm soát của các chúa Bầu, là lực lượng cát cứ địa phương trung thành với nhà Hậu Lê. Các cuộc tấn công của nhà Mạc lên Tuyên Quang đều bị các chúa Bầu đánh bại.[3] Không có sách sử nào ghi chép việc nhà Mạc cho đắp hay xây thành ở khu vực này.[4] Trong thời gian này, chưa có thành mà chỉ tồn tại các chiến lũy bằng đất được đắp theo địa hình, chưa rõ có phải được đắp trong thời gian này hay không. Tuy nhiên, bài phản biện của tác giả Mạc Ninh lại cho rằng thành có thể được xây từ thời Mạc sau năm 1592 khi chúa Bầu theo Mạc chống Lê, đồng thời đưa ra quan điểm xã Thúc Thủy mới là trị sở của Tuyên Quang chứ không phải xã Đại Đồng, dù cả hai xã đều thuộc xã An Khang ngày nay.[5][6]

Năm 1832, thời vua Minh Mạng, Tổng đốc Sơn Hưng Tuyên Lê Đại Cương bàn với Thự Tuần phủ Sơn Tây Nguyễn Hữu Khuê cho đắp thành dựa trên những lũy cũ, được vua đồng ý. Năm 1844, dưới thời vua Thiệu Trị, dưới sự đôn đốc của Tổng đốc Nguyễn Đăng Giai và Lãnh binh Nguyễn Trọng Thao, thành Tuyên Quang được xây xong.[7]

Năm 1884, thành Tuyên Quang rơi vào tay thực dân Pháp. Nơi đây trở thành chiến trường giữa quân Pháp và quân Cờ Đen. Thành cũng là trung tâm của cuộc đấu tranh chống Pháp của các dân tộc Kinh, Tày, Dao, Cao Lan. Tháng 8 năm 1945, Giải phóng quân tiến công phát xít Nhật tại thị xã Tuyên Quang, bên cạnh thành cổ. Chỉ trong vài ngày, quân Nhật phải đầu hàng, bàn giao thị xã cho quân Giải phóng. Năm 1954, thành cổ là nơi đặt trạm tù binh để trao đổi trong Hội nghị quân sự Trung Giã.[8]

Ngày 20 tháng 3 năm 1961, lần đầu tiên kể từ khi Chính phủ nước Việt Nam Dân chủ Cộng hòa chuyển từ Thủ đô Kháng chiến (Tân Trào, Sơn Dương, Tuyên Quang) về Hà Nội, cán bộ, chiến sĩ, đồng bào các dân tộc tỉnh Tuyên Quang đã được đón Chủ tịch Hồ Chí Minh về thăm lại "quê hương cách mạng" Tuyên Quang. Chủ tịch nước đã có buổi nói chuyện với toàn thể nhân dân ở sân vận động phía bắc Thổ Sơn ngay trong thành cổ.

Năm 1991, thành Tuyên Quang hay thành nhà Mạc được Nhà nước công nhận là di tích lịch sử văn hóa.[9]